Bergman đã từng 5 lần lập gia đình. Ngày 25 tháng 3 năm 1943, ông cưới nữ biên đạo múa Else Fischer, hai người ly dị năm 1945 sau khi đã có chung một người con gái là Lena Bergman (nữ diễn viên, sinh năm 1943). Ngày 22 tháng 7 năm 1945, Ingmar Bergman cưới nữ đạo diễn Ellen Lundström. Ellen đã sinh cho đạo diễn nổi tiếng bốn đứa con, sau này cũng trở thành đạo diễn, đó là Eva Bergman (sinh năm 1945), Jan Bergman (1946-2000) và hai anh em sinh đôi Mats, Anna Bergman (1948). Sau khi ly dị bà Ellen năm 1950, một năm sau Ingmar Bergman lập gia đình với nhà báo Gun Grut và có thêm một đứa con, phi công Ingmar Bergman Jr (1951). Năm 1959, Ingmar Bergman lại ly dị và lấy vợ mới, lần này là nghệ sĩ piano Käbi Laretei. Năm 1969 hai người ly dị khi Käbi đã sinh cho đạo diễn một đứa con, sau này cũng trở thành đạo diễn, đó là Daniel Bergman (sinh năm 1962. Ngày 11 tháng 11 năm 1971, Ingmar lập gia đình lần cuối cùng với một người phụ nữ góa chồng là Ingrid von Rosen. Cuộc hôn nhân cuối cùng cũng là cuộc hôn nhân lâu bền nhất của đạo diễn cho đến khi bà Ingrid qua đời ngày 20 tháng 5 năm 1995 vì bệnh ung thư dạ dày. Bà Ingrid đôi khi được gọi theo họ chồng thứ hai là Ingrid Bergman, trùng tên với nữ diễn viên huyền thoại Ingrid Bergman, người tuy là đồng hương Thụy Điển với Ingmar Bergman nhưng không hề có quan hệ họ hàng với nhau.

Đạo diễn còn có một đứa con với nữ diễn viên Liv Ullmann tên là Linn Ullmann (sinh năm 1966), sau này trở thành nhà văn. Tính tổng cộng Bergman có 9 đứa con trong đó Maria von Rosen (sinh năm 1959) là con riêng của bà Ingrid.